FinRCA-Bench: Benchmarking Evidence Retrieval and Reasoning for Financial AI Systems
FinRCA-Bench：面向金融 AI 系统的证据检索与推理基准测试
🧭 RAG 证据检索与推理分离评估
提出 FinRCA-Bench，分离检索失败与推理失败，量化证据检索架构对金融对账根因诊断准确率的影响
📌 工作参考价值（4 点）
- 电商交易纠纷、支付对账、风控诊断等场景中，证据通常分散在订单、支付、履约、客服等多张表且靠事务关系而非文本相似；可借鉴 TPGR 思路，用 Typed Provenance Graph 沿订单号、支付单号等持久化关系做受限遍历，而不是纯语义检索，能显著减少噪声 token、提高必需证据召回。
- 评估系统时不要只看最终答案准确率：把证据召回、证据契约覆盖率与推理正确性分开打点，定位瓶颈。论文发现检索失败远多于推理失败（95 vs 15），业务上应优先优化 retrieval 结构而非反复调 prompt 或换模型。
- 对结构化程度高的问题，Rules/SQL 和经典 ML 仍很强（95.44%），不要盲目上 LLM；LLM 更适合处理规则难覆盖的非结构化和需要解释的场景，结构化部分用确定性规则或 GBDT 等传统模型保证稳定可审计。
- 可复用 evidence contract 评估方法：为每个 case 标注必需的 record 级证据集合，独立评估返回证据的精确性与完整性；对推荐/排序解释、广告归因等需要审计的业务，也可以建立证据契约，避免“正确结论但不可解释”。